| 廣告聯系 | 簡體版 | 手機版 | 微信 | 微博 | 搜索:
歡迎您 游客 | 登錄 | 免費注冊 | 忘記了密碼 | 社交賬號注冊或登錄

首頁

新聞資訊

論壇

溫哥華地產

大溫餐館點評

溫哥華汽車

溫哥華教育

黃頁/二手

旅游

OpenAI塌房!Scaling law原作曝bug 萬億算力白燒


請用微信 掃一掃 掃描上面的二維碼,然後點擊頁面右上角的 ... 圖標,然後點擊 發送給朋友分享到朋友圈,謝謝!
DeepMind研究員深夜爆料:OpenAI的Scaling Law原始論文竟有致命bug!全球AI白白燒掉萬億算力,GPT-3其實嚴重「虛胖」。


OpenAI誤導了整個AI圈好幾年!

過去五年,整個AI行業都被Scaling Law推著往前沖。


奧特曼堅信AGI的底氣就來自這條曲線。

現在,有人站出來說:這條曲線,一開始就錯了。

不是事後諸葛。說這話的,是當年就在OpenAI做大模型優化的研究員Diogo Almeida。

剛剛,他發出一篇博客,標題冷得發指——《Scaling Laws, Honestly》。

開頭一句直接把話說死:最初那版scaling law是錯的,因為存在一個bug。



傳送門:https://www.completeskeptic.com/p/scaling-laws-honestly


DeepMind那位以擴散模型封神的Sander Dieleman,轉頭就在推特上把它頂了上去,說這是一段有意思的LLM往事:

原始scaling law因為一個bug而錯了,大概率害得業界在一堆「體量過大、訓練不足」的模型上,白白燒掉了海量算力。




一個bug,燒掉兩年。

當bug被撕開,我們看到的,不僅是算力的黑洞,更是一條被語言本身重塑的、遠比想象中更深刻的智能邊界。



Scaling Law竟是LLM版「地心說」

2020年,OpenAI給出結論:在固定的算力預算下,你應該優先把模型做大,而不是拿更多數據去喂它。

用公式說,最優參數量正比於算力的0.73次方——參數,是那個更該猛沖的變量。
點個贊吧!您的鼓勵讓我們進步     這條新聞還沒有人評論喔,等著您的高見呢
上一頁123456下一頁
注:
  • 新聞來源於其它媒體,內容不代表本站立場!
  • 在此頁閱讀全文
    猜您喜歡:
    您可能也喜歡:
    我來說兩句:
    評論:
    安全校驗碼:
    請在此處輸入圖片中的數字
    The Captcha image
      大家正在圍觀
    列治文沉船 失聯華人船長家人發聲
    西溫"樹沒了"事件 豪宅區鄰裡大戰
    52歲蘇有朋給所有男星提了個醒:臉
    正式官宣!霍啟山傳喜訊,讓香港四
    大溫重大利好 聯邦百億投向這港口
    BC這工作時薪大漲55% 正招聘40人
    大溫警方開槍擊斃熊媽媽 引發眾怒
    昨晚大溫夜空又開掛了!北極光刷屏
    雖敗猶榮!加國男足止步世界杯16強
    男子釣魚被它咬一口 結果差點喪命
      同類熱門新聞
    斯坦福AI時代:我的同學,ChatGPT
    拒絕上學門診:那些被當作問題"解
    高考699分女孩報清華卻被網暴,到
    蔣方舟:請清華教授停止對我的網暴
    被推著去"賽課"的年輕老師,獲得一
    15分鍾一局的王者榮耀,成了數學博
    六常委同調做一事 王滬寧學習兩次
    網紅直播時被警方當場帶走!國際大
    拯救無數人的著名心理治療師,自殺
    清華美籍學生因"失聯"被退學 必有
      隨時閱讀新聞

    加西網微信

    大溫優惠小紅書

    溫哥華地產中心微信

    Android: 加西網
    Terms & Conditions    Privacy Policy    Political ADs    Activities Agreement    Contact Us    Sitemap    

    加西網為北美中文網傳媒集團旗下網站

    頁面生成: 0.0188 秒 and 5 DB Queries in 0.0014 秒